기저와 랭크

$V$ 에서, 우리는 어떤 벡터 $v \in V$ 든지 $\mathcal{A}$ 에 있는 벡터들의 선형 결합으로 얻어질 수 있다는 성질을 가진 벡터들의 집합 $\mathcal{A}$ 에 특히 관심이 있다. 이러한 벡터들은 특별한 벡터들이며, 다음 내용에서 우리는 이들의 특성을 기술할 것이다.

정의 2.13 (생성 집합과 span). 벡터 공간 $V = (\mathcal{V}, +, \cdot)$ 와 벡터들의 집합 $\mathcal{A} = \set{x_1, \dots, x_k} \subseteq \mathcal{V}$ 를 고려하자. 만약 $\mathcal{V}$ 에 속하는 모든 벡터 $v$ 가 $x_1, \dots, x_k$ 의 선형 결합으로 표현될 수 있다면, $\mathcal{A}$ 는 $V$ 의 생성 집합이라고 불린다. $\mathcal{A}$ 에 있는 벡터들의 모든 선형 결합의 집합을 $\mathcal{A}$ 의 span(생성)이라고 부른다. 만약 $\mathcal{A}$ 가 벡터 공간 $V$ 를 span한다면, 우리는 $V = \text{span}[\mathcal{A}]$ 또는 $V = \text{span}[x_1, \dots, x_k]$ 라고 쓴다.

$\to$ 이때 생성 집합 내 벡터 집합은 선형독립이 아닐 수 있다.

생성 집합은 벡터 (부분)공간을 span하는 벡터들의 집합이다. 즉, 모든 벡터가 생성 집합에 있는 벡터들의 선형 결합으로 표현될 수 있다는 뜻이다. 이제 벡터(부분) 공간을 span하는 가장 작은 생성 집합에 대해 구체적으로 설명하겠다.

정의 2.14 (기저). 벡터 공간 $V = (\mathcal{V}, +, \cdot)$ 와 $\mathcal{A} \subseteq \mathcal{V}$ 를 고려하자. 만약 $V$ 를 span하는 더 작은 집합 $\tilde{\mathcal{A}} \subsetneq \mathcal{A} \subseteq \mathcal{V}$ 가 존재하지 않는다면, $V$ 의 생성 집합 $\mathcal{A}$ 는 최소(minimal)라고 불린다. $V$ 의 모든 선형 독립인 생성 집합은 최소이며 $V$ 의 기저(basis)라고 불린다.

$V = (\mathcal{V}, +, \cdot)$ 를 벡터 공간이라 하고 $\mathcal{B} \subseteq \mathcal{V}, \mathcal{B} \neq \emptyset$ 이라고 하자. 그러면 다음 명제들은 동치이다(equivalent):

  • $\mathcal{B}$ 는 $V$ 의 기저이다.
  • $\mathcal{B}$ 는 최소 생성 집합(minimal generating set)이다.
  • $\mathcal{B}$ 는 $V$ 내의 벡터들의 최대 선형 독립 집합(maximal linearly independent set)이다. 즉, 이 집합에 다른 어떤 벡터를 추가하더라도 그것은 선형 종속이 된다.
  • 모든 벡터 $\boldsymbol{x} \in V$ 는 $\mathcal{B}$ 에 속한 벡터들의 선형 결합으로 표현되며, 모든 선형 결합은 유일(unique)하다. 즉,
$$ \boldsymbol{x} = \sum_{i=1}^k \lambda_i \boldsymbol{b}_i = \sum_{i=1}^k \psi_i \boldsymbol{b}_i \quad (2.77) $$

이고 $\lambda_i, \psi_i \in \mathbb{R}, \boldsymbol{b}_i \in \mathcal{B}$ 라면, $\lambda_i = \psi_i, i = 1, \dots, k$ 임이 따라 나온다.

$\to$ 벡터 공간 $V$ 에서 기저 집합 $\mathcal{B} = {b_1, \dots, b_k}$ 의 벡터은 고정된 대상이며, 어떤 임의의 벡터 $x$ 를 이 기저들의 선형 결합으로 만들 때, 이것이 유일하다는 것은 ‘벡터 $x$ 를 만들어내는 스칼라 계수들의 조합( $\lambda_1, \dots, \lambda_k$ )이 단 한 쌍밖에 존재하지 않는다’는 뜻이다. 이를 판별하기 위해 유일하지 않다고 가정하여 벡터 $x$ 를 만들 때 $\lambda_i$ 와 $\psi_i$ 로 표현하였다(식 2.77).

위 식(2.77)의 우변을 좌변으로 이항하면 다음과 같다.

$$ \sum_{i=1}^k (\lambda_i - \psi_i) \boldsymbol{b}_i = \mathbf{0} $$

$b_i$ 들은 기저이므로 서로 선형 독립이다. 선형 독립인 벡터들의 선형결합으로 영벡터를 만드는 방법은 모든 기저의 계수가 항상 0인 경우이다. 따라서 $\lambda_i - \psi_i = 0$ 이므로 $\lambda_i = \psi_i$ 이다. 앞서 유일하지 않다고 가정하여 두 개의 스칼라 조합 ( $\lambda$ 와 $\psi$ )를 사용했지만, 논리를 따라가보면 두 조합이 같은 대상을 가리킴을 알 수 있다.

예제 2.16

  • $\mathbb{R}^3$ 에서, 표준 기저(canonical/standard basis)는 다음과 같다:
$$ \mathcal{B} = \left\{ \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}, \begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix}, \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix} \right\}. \quad (2.78) $$
  • $\mathbb{R}^3$ 의 다른 기저들은 다음과 같다:
$$ \mathcal{B}_1 = \left\{ \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}, \begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix}, \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} \right\}, \quad \mathcal{B}_2 = \left\{ \begin{bmatrix} 0.5 \\ 0.8 \\ 0.4 \end{bmatrix}, \begin{bmatrix} 1.8 \\ 0.3 \\ 0.3 \end{bmatrix}, \begin{bmatrix} -2.2 \\ -1.3 \\ 3.5 \end{bmatrix} \right\}. \quad (2.79) $$
  • 다음 집합
$$ \mathcal{A} = \left\{ \begin{bmatrix} 1 \\ 2 \\ 3 \\ 4 \end{bmatrix}, \begin{bmatrix} 2 \\ -1 \\ 0 \\ 2 \end{bmatrix}, \begin{bmatrix} 1 \\ 1 \\ 0 \\ -4 \end{bmatrix} \right\} \quad (2.80) $$

은 선형 독립이지만, $\mathbb{R}^4$ 의 생성 집합이 아니다(따라서 기저도 아니다). 예를 들어, 벡터 $[1, 0, 0, 0]^\top$ 은 $\mathcal{A}$ 의 원소들의 선형 결합으로 얻어질 수 없다.

참고 (Remark). 모든 벡터 공간 $V$ 는 기저 $B$ 를 가진다. 앞선 예제들은 벡터 공간 $V$ 에 많은 기저가 존재할 수 있음을, 즉 기저가 유일하지 않음을 보여준다. 하지만, 모든 기저는 동일한 수의 원소, 즉 기저 벡터들을 가진다.
$\quad$ 우리는 유한 차원 벡터 공간 $V$ 만 고려한다. 이 경우, $V$ 의 차원(dimension)은 $V$ 의 기저 벡터들의 개수이며, 우리는 이를 $\dim(V)$ 라고 쓴다. 만약 $U$ 가 $V$ 의 부분 공간이라면, $\dim(U) \le \dim(V)$ 이며, $\dim(U) = \dim(V)$ 인 경우 오직 $U = V$ 일 때뿐이다. 직관적으로, 벡터 공간의 차원은 이 벡터 공간 내의 독립적인 방향(independent directions)들의 수로 생각할 수 있다.
참고 (Remark). 벡터 공간의 차원이 반드시 벡터 안에 있는 성분의 개수는 아니다. 예를 들어, 벡터 공간 $V = \text{span}[\begin{bmatrix}0 \ 1\end{bmatrix}]$ 은 비록 기저 벡터가 두 개의 성분을 가지고 있더라도 1차원이다.
참고 (Remark). 부분 공간 $U = \text{span}[x_1, \dots, x_m]$ 의 기저는 다음 단계들을 수행하여 찾을 수 있다:

  1. 생성하는 벡터들을 행렬 $A$ 의 열(columns)로 쓴다.
  2. $A$ 의 행 사다리꼴(row-echelon form)을 구한다.
  3. 피벗 열(pivot columns)과 연관된 원래의 생성 벡터들이 $U$ 의 기저이다.

예제 2.17 (기저 결정하기, Determining a Basis)

벡터들로 스팬(span)된 벡터 부분 공간 $U \subseteq \mathbb{R}^5$ 를 고려하자:

$$ x_1 = \begin{bmatrix} 1 \\ 2 \\ -1 \\ -1 \\ -1 \end{bmatrix}, \quad x_2 = \begin{bmatrix} 2 \\ -1 \\ 1 \\ 2 \\ -2 \end{bmatrix}, \quad x_3 = \begin{bmatrix} 3 \\ -4 \\ 3 \\ 5 \\ -3 \end{bmatrix}, \quad x_4 = \begin{bmatrix} -1 \\ 8 \\ -5 \\ -6 \\ 1 \end{bmatrix} \in \mathbb{R}^5, \quad (2.81) $$

우리는 벡터 $x_1, \dots, x_4$ 중 어떤 것이 $U$ 의 기저가 되는지 알아내는 데 관심이 있다. 이를 위해, 우리는 $x_1, \dots, x_4$ 가 선형 독립인지 확인해야 한다. 따라서 우리는 다음을 풀어야 한다:

$$ \sum_{i=1}^4 \lambda_i x_i = \mathbf{0}, \quad (2.82) $$

이것은 행렬을 이용한 동차 연립방정식으로 이어진다:

$$ [x_1, x_2, x_3, x_4] = \begin{bmatrix} 1 & 2 & 3 & -1 \\ 2 & -1 & -4 & 8 \\ -1 & 1 & 3 & -5 \\ -1 & 2 & 5 & -6 \\ -1 & -2 & -3 & 1 \end{bmatrix}. \quad (2.83) $$

연립일차방정식에 대한 기본 변환 규칙(가우스 소거법 등)을 사용하여, 우리는 다음과 같은 행 사다리꼴(row-echelon form)을 얻는다:

$$ \begin{bmatrix} 1 & 2 & 3 & -1 \\ 2 & -1 & -4 & 8 \\ -1 & 1 & 3 & -5 \\ -1 & 2 & 5 & -6 \\ -1 & -2 & -3 & 1 \end{bmatrix} \quad \rightsquigarrow \cdots \rightsquigarrow \quad \begin{bmatrix} 1 & 2 & 3 & -1 \\ 0 & 1 & 2 & -2 \\ 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}. $$

피벗 열(pivot columns)은 어떤 벡터들의 집합이 선형 독립인지를 나타내므로, 우리는 행 사다리꼴로부터 $x_1, x_2, x_4$ 가 선형 독립임을 알 수 있다 (왜냐하면 선형 연립방정식 $\lambda_1 x_1 + \lambda_2 x_2 + \lambda_4 x_4 = \mathbf{0}$ 은 오직 $\lambda_1 = \lambda_2 = \lambda_4 = 0$ 일 때만 풀리기 때문이다). 따라서, $\set{x_1, x_2, x_4}$ 는 $U$ 의 기저이다( $\mathbb{R}^5$ 의 기저는 될 수 없다).

2.6.2 랭크

행렬 $A \in \mathbb{R}^{m \times n}$ 의 선형 독립인 열들의 개수는 선형 독립인 행들의 개수와 같으며, 이를 $A$ 의 랭크(rank)라고 부르고 $\text{rk}(A)$ 로 표기한다.
참고 (Remark). 행렬의 랭크는 몇 가지 중요한 성질을 가진다:

  • $\text{rk}(A) = \text{rk}(A^\top)$ , 즉 열 랭크(column rank)는 행 랭크(row rank)와 같다.
  • $A \in \mathbb{R}^{m \times n}$ 의 열들은 $\dim(U) = \text{rk}(A)$ 인 부분 공간 $U \subseteq \mathbb{R}^m$ 을 span한다. 나중에 우리는 이 부분 공간을 이미지(image) 또는 치역(range)이라고 부를 것이다. $U$ 의 기저는 가우스 소거법을 $A$ 에 적용하여 피벗 열들을 식별함으로써 찾을 수 있다.
  • $A \in \mathbb{R}^{m \times n}$ 의 행들은 $\dim(W) = \text{rk}(A)$ 인 부분 공간 $W \subseteq \mathbb{R}^n$ 을 span한다. $W$ 의 기저는 가우스 소거법을 $A^\top$ 에 적용하여 찾을 수 있다.
  • 모든 $A \in \mathbb{R}^{n \times n}$ 에 대하여, $A$ 가 정칙(regular, 역행렬 존재)일 필요충분조건은 $\text{rk}(A) = n$ 인 것이다.
  • 모든 $A \in \mathbb{R}^{m \times n}$ 과 모든 $b \in \mathbb{R}^m$ 에 대하여, 선형 연립방정식 $Ax = b$ 가 해를 가질 필요충분조건은 $\text{rk}(A) = \text{rk}(A\vert b)$ 인 것이다. 여기서 $A\vert b$ 는 첨가 행렬(augmented system)을 나타낸다.
    $\to$ 만약 $\text{rk}(A) < \text{rk}(A\vert b)$ 라면 첨가 행렬을 행 축약했을 때 마지막 열에 추축이 존재하며, 이는 모순( $0=b$ )이므로 해가 없다.
  • $A \in \mathbb{R}^{m \times n}$ 에 대하여, $Ax = \mathbf{0}$ 의 해들의 부분 공간은 $n - \text{rk}(A)$ 의 차원을 가진다. 나중에 우리는 이 부분 공간을 커널(kernel) 또는 영공간(null space)이라고 부를 것이다.
  • 행렬 $A \in \mathbb{R}^{m \times n}$ 는 그 랭크가 같은 차원의 행렬이 가질 수 있는 최대 랭크와 같을 때 풀 랭크(full rank)를 가진다고 한다. 이는 풀 랭크 행렬의 랭크가 행과 열의 개수 중 작은 쪽과 같음을 의미한다. 즉, $\text{rk}(A) = \min(m, n)$ 이다. 풀 랭크를 가지지 못하는 행렬은 랭크 부족(rank deficient)이라고 한다.

예제 2.18 (랭크, Rank)

  • 첫 번째 행렬:
$$ A = \begin{bmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \\ 0 & 0 & 0 \end{bmatrix}. $$ 
 $A$ 는 두 개의 선형 독립인 행(또는 열)을 가지고 있으므로,  $\text{rk}(A) = 2$ 이다.
  • 두 번째 행렬:
$$ A = \begin{bmatrix} 1 & 2 & 1 \\ -2 & -3 & 1 \\ 3 & 5 & 0 \end{bmatrix}. $$ 
우리는 랭크를 결정하기 위해 가우스 소거법을 사용한다:
$$ \begin{bmatrix} 1 & 2 & 1 \\ -2 & -3 & 1 \\ 3 & 5 & 0 \end{bmatrix} \quad \rightsquigarrow \cdots \rightsquigarrow \quad \begin{bmatrix} 1 & 2 & 1 \\ 0 & 1 & 3 \\ 0 & 0 & 0 \end{bmatrix}. \quad (2.84) $$ 
여기서, 우리는 선형 독립인 행과 열의 개수가 2임을 알 수 있고, 따라서  $\text{rk}(A) = 2$ 이다.